IterCAD: An Iterative Multimodal Agent for Visually-Grounded CAD Generation and Editing
IterCAD：面向视觉引导CAD生成与编辑的迭代多模态智能体
🧭 CAD 生成与编辑 · 多模态 Agent · 闭环几何推理 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · University of Science and Technology of China · Shanghai Innovation Institute · Wuhan University · The Australian National University
提出迭代多模态Agent框架，通过多视图工程图闭环交互与几何感知RL，实现鲁棒CAD代码生成与编辑
📌 工作参考价值（4 点）
- 闭环Agent交互范式：借鉴“思考-执行-观察”的多轮交互协议，强制模型输出结构化推理和代码块，并给予格式奖励，可用于电商复杂查询Agent或对话式购物助手的设计，提高多步决策的可靠性。
- 数据合成与训练流程：先用专家模型合成高质量多轮交互轨迹进行SFT冷启动，再通过几何感知强化学习提升自校正能力，此两步走训练策略可直接复用到需要长程推理和纠错的业务场景（如多轮推荐对话、任务型Agent）。
- 信用分配掩码（GVPM）：为解决多轮RL中后期失败惩罚前期有效动作的问题，引入前缀掩码，只对有效前缀进行强化，可迁移到任何多轮交互的RL训练中（如多步召回策略优化、对话策略学习）。
- 幸存者偏差消除评估：提出的CD-TR曲线和AUC-TR指标将代码执行成功率与几何精度联合评估，类似思路可引入到生成式推荐或SQL生成任务中，把生成失败记为最低分，避免仅统计成功样本而导致的评价失真。